Tháng 3/1946, ông được cử về Sài Gòn, khôi phục lại các tổ chức lập lại Thành ủy và làm Bí thư Thành ủy Sài Gòn. Cuối năm 1946, Nguyễn Văn Linh về thay ông làm Bí thư thành ủy Sài Gòn, ông chuyển sang làm Bí thư ban cán sự nội thành, phụ trách các đảng bộ Pháp kiều và Hoa kiều.

Năm 1949, ông được cử tham gia phái đoàn miền Nam ra họp Đại hội lần thứ hai của Đảng tại Việt Bắc[2]. Tại đây, ông lần đầu tiên được tiếp xúc với Chủ tịch Hồ Chí Minh. Do Đại hội Đảng hoãn họp, theo chỉ thị của chủ tịch Hồ Chí Minh, ông trở về Nam Bộ cùng Phạm Hùng qua Đông Bắc Thái Lan.

Cuối năm 1949, sau khi từ chiến khu Việt Bắc trở về, ông tham gia Thường vụ Đặc khu ủy Sài Gòn - Chợ Lớn, rồi tiếp tục lại phụ trách nội thành.

Tháng 4/1951, ông bị quân Pháp bắt và bị giam giữ đến năm 1954 mới được trao trả.